# pySpark数据输入

"""
本章节研究的方向:
 1：将python容器转化为RDD对象
 2：读取文件数据 然后转换为RDD对象
"""

print("------------将python中的容器转化为RDD对象------------------")
from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
sc = SparkContext(conf=conf)
RDD = sc.parallelize("数据容器对象")  # 开始转换容器对象
print(RDD.collect())  # 输出RDD的内容
print(type(RDD))
sc.stop()

print("---------读取文件转RDD对象------------------")
from pyspark import SparkConf, SparkContext

# 构建SparkConf配置对象，然后设置本地运行
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
sc = SparkContext(conf=conf)
path = "D:/work_space/unit-test/hello_python/03_面向对象/file/2011年1月销售数据.txt"
rdd = sc.textFile(path)  # 读取指定位置为文件
print(rdd.collect())  # 打印RDD内容
sc.stop()
